Learning from Repaired Reasoning: Root-Cause-Guided On-Policy Distillation
从修复的推理中学习：根因引导的在策略蒸馏
🧭 LLM 推理训练 · 根因修复蒸馏
Gaoling School of Artificial Intelligence, Renmin University of China · School of Software and Microelectronics, Peking University · School of Information Technology and Management, University of International Business and Economics
提出 RC-OPD，用学生失败推理的根因修复和锚点引导，缓解自蒸馏的推理错配与蒸馏陷阱
📌 工作参考价值（4 点）
- 在训练电商/Agent 多步推理或工具调用链时，不要只用固定 reference trajectory 做 SFT；可以收集模型自己的失败轨迹，定位最早错误步骤，只做局部修复并保留有效前缀，既降低全量重写成本，也能提升样本针对性。
- 将训练目标拆成两类：对错误段用 root-cause 信号强化纠错，对有效前缀用 anchor-guided 信号维持正确行为。这种分段蒸馏思路可迁移到推荐解释、查询改写、广告文案生成等需要保留中间正确约束的任务。
- 诊断-修复-续写循环可形成自动化 on-policy 数据管线：用诊断模型或规则框定错误片段，设置固定 repair budget，通过 continuation 验证修复效果，适合工程化迭代训练 LLM ranker/agent。
- 对生成式推荐中的 CoT/推理链，可以用 valid prefix anchor 避免不必要的约束冲突，减少“模型只抄结论但错误未消”的情况。